실험의 목적

2주차 구글 예습 설문지 집계결과를 분석합니다. Q1~Q6에서는 랜덤화의 효과로 Red, Black 이 얼마나 닮았는지 알아봅니다. Q7에서는 같은 눈속임 그래프인데 원형그래프의 각도를 속일 떄(Red)와 막대그래프의 높이를 속일 때(Black) 오류를 지각하는 데 차이가 있는지 알아봅니다. 끝으로 제출시간의 분포가 날마다 고른지, Red, Black 간에는 닮았는지 알아봅니다.

Red, Black을 잘못 표시한 사람들

  Red(구글예습퀴즈) Black(구글예습퀴즈)
Red(랜덤화출석부) 346 27
Black(랜덤화출석부) 22 338

랜덤화출석부에 있는 Red, Black 과 실제 구글설문에 올린 Red, Black 이 다른 사람들의 수효는 49명입니다. Red를 Black 이라고 한 사람이 27명, Black 을 Red 라고 한 사람이 22명입니다.

응답인원의 Red, Black

Red 로 응답한 인원은 368명, Black 에 응답한 인원은 365명입니다. 전체 응답인원 733 명을 랜덤하게 둘로 나눌 때 어느 한 쪽의 기대인원은 이를 반으로 나눠 준366.5명이고, 표준오차는 이의 제곱근에 1/2을 곱해 준 13.5 명입니다. 따라서 Red, Black 각 그룹에 관찰된 인원은 기대인원으로부터 표준오차 범위 안에 들어갑니다.

퀴즈 응답 비교

Q1. 춘추전국시대에 국가통계관리의 중요성 강조

관자(집계표)

  공자 맹자 관자 노자 장자 계
Red 57 24 265 15 7 368
Black 65 31 248 15 6 365
계 122 55 513 30 13 733
Pearson’s Chi-squared test: .
Test statistic df P value
2.044 4 0.7278

Q1의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다. 그 결과 카이제곱 통계량은 2.04, 자유도는 4 , p-value 는 0.7278이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다. 실제로 닮은 게 느껴집니까?

관자(%)

공자 맹자 관자 노자 장자 계
16.6 7.5 70.0 4.1 1.8 100.0

정답률은 Red, Black 을 합하여 계산하는데, 70.0(%) 입니다.

Q2. 국가정책을 수립하는 데 통계의 역할

통계의 중요성(집계표)

  절대로 중요하지 않다 거의 중요하지 않다 보통이다 상당히 중요하다 절대적으로 중요하다 계
Red 2 2 14 146 204 368
Black 3 1 8 154 199 365
계 5 3 22 300 403 733
Pearson’s Chi-squared test: .
Test statistic df P value
2.433 4 0.6567

Q2의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다. 그 결과 카이제곱 통계량은 2.433, 자유도는 4, p-value 는 0.6567이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다. 실제로 닮은 게 느껴집니까?

통계의 중요성(%)

절대로 중요하지 않다 거의 중요하지 않다 보통이다 상당히 중요하다 절대적으로 중요하다 계
0.68 0.41 3.00 40.93 54.98 100.00

정답률은 Red, Black 을 합하여 계산하는데, 55.0(%) 입니다.

Q3. 우리나라 생산가능인구 감소 시기

생산가능인구 감소 시기(집계표)

  2012 2017 2022 2027 계
Red 37 296 30 5 368
Black 30 304 27 4 365
계 67 600 57 9 733
Pearson’s Chi-squared test: .
Test statistic df P value
1.095 3 0.7783

Q3의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다. 그 결과 카이제곱 통계량은 1.095, 자유도는 3, p-value 는 0.7783이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다. 실제로 닮은 게 느껴집니까?

생산가능인구 감소 시기(%)

2012 2017 2022 2027 계
9.1 81.9 7.8 1.2 100.0

정답률은 Red, Black 을 합하여 계산하는데, 81.9(%) 입니다.

Q4. 우리나라 총인구 최대 시기

총인구 최대 시기(집계표)

  2018 2019 2020 2021 계
Red 73 29 247 19 368
Black 84 30 233 18 365
계 157 59 480 37 733
Pearson’s Chi-squared test: .
Test statistic df P value
1.211 3 0.7504

Q4의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다. 그 결과 카이제곱 통계량은 1.211, 자유도는 3, p-value 는 0.7504이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다. 실제로 닮은 게 느껴집니까?

총인구 최대 시기(%)

2018 2019 2020 2021 계
21.4 8.0 65.5 5.0 100.0

정답률은 Red, Black 을 합하여 계산하는데, 65.5(%) 입니다.

Q5. 소멸위험 단계 개선 지역

소멸위험 단계 개선 지역(집계표)

  서울 경기 세종 제주 계
Red 18 21 299 30 368
Black 20 25 299 21 365
계 38 46 598 51 733
Pearson’s Chi-squared test: .
Test statistic df P value
2.029 3 0.5664

Q5의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다. 그 결과 카이제곱 통계량은 2.029, 자유도는 3, p-value 는 0.5664이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다. 실제로 닮은 게 느껴집니까?

소멸위험 단계 개선 지역(%)

서울 경기 세종 제주 계
5.2 6.3 81.6 7.0 100.0

정답률은 Red, Black 을 합하여 계산하는데, 81.6(%) 입니다.

Q6. 조출생률과 합계출산율

조출생률과 합계출산율(집계표)

  합계출산율 A : 0.5, B : 0.125, C : 0.25 합계출산율 A : 0.25, B : 0.125, C : 0.5 합계출산율 A : 0.125, B : 0.5, C : 0.25 합계출산율 A : 0.5, B : 0.25, C : 0.125 계
Red 192 60 76 40 368
Black 187 53 84 41 365
계 379 113 160 81 733
Pearson’s Chi-squared test: .
Test statistic df P value
0.8997 3 0.8255

Q6의 집계 결과가 Red, Black 간에 통계적으로 유의한 차이가 있는지 알아보기 위하여 카이제곱 테스트를 수행하였습니다. 그 결과 카이제곱 통계량은 0.900, 자유도는 3, p-value 는 0.8255이므로 Red, Black 간에 통계적으로 유의한 차이를 보이지 않습니다. 실제로 닮은 게 느껴집니까?

조출생률과 합계출산율(%)

합계출산율 A : 0.5, B : 0.125, C : 0.25 합계출산율 A : 0.25, B : 0.125, C : 0.5 합계출산율 A : 0.125, B : 0.5, C : 0.25 합계출산율 A : 0.5, B : 0.25, C : 0.125 계
51.7 15.4 21.8 11.1 100.0

정답률은 Red, Black 을 합하여 계산하는데, 51.7(%) 입니다.

Cheating Charts

지난 학기까지 앞에 나오는 선지를 고르기 쉽다는 1번효과에 대한 질문을 만들어서 테스트해 왔지만 효과를 검증하기 어려워 문제를 바꿔 보았습니다. 언론방송에서 가끔 원형그래프나 막대그래프를 제시하면서 숫자와 그림이 맞지 않는 경우를 볼 수 있습니다. 여러분들은 그런 경우에 어떻게 인식하는 지 언론기관에서 발표한 눈속임 그래프를 보여줍니다. Red 에는 원형그래프의 각도를 속이고, Black 에는 막대그래프의 높이를 속여 어떤 응답이 나오는 지 살펴보았습니다. 여러분들은 대부분 눈속임 그래프에 속지 않고 있습니다. 언론기관들이 왜 이런 짓들을 하는지 궁금해집니다.

Q7. 눈속임 그래프

집계표

  제대로 보여주고 있다 제대로 보여주고 있지 않다 모름/응답거절 계
Red(김영란법 국회통과) 81 228 59 368
Black(고위공직자 범죄수사처 설립) 120 173 72 365
계 201 401 131 733
Pearson’s Chi-squared test: .
Test statistic df P value
16.39 2 0.0002762 * * *

Q7의 Red에는 김영란법 국회통과에 대한 여론조사 결과를 원형그래프로 나타내었는데 잘했다(64%), 잘못했다(7.3%), 모르겠다(28.7%)의 데이터와 전혀 맞지 않게 왜곡하여 마치 잘했다와 잘못했다의 비율이 거의 대등한 것처럼 각도를 조정하였는 데, 368명이 응답한 가운데 81명이 결과를 “제대로 보여주고 있다”는 반응을 보이고, 228명이 결과를 “제대로 보여주고 있지 않다”는 반응을 보입니다. Black은 2017년 대선의 대선주자 여론조사에서 33%의 지지율을 기록한 문재인 예비후보와 22%의 지지율을 기록한 안희정 예비후보의 지지율 막대가 거의 비슷한 것처럼 왜곡하였는 데, 365명이 응답한 가운데 120명이 여론조사 결과를 ” 제대로 보여주고 있다”는 반응을 보이고, 173명이 여론조사 결과를 “제대로 보여주고 있지 않다”는 반응을 보입니다. 그리고 “모름/무응답”에 답한 인원은 Red에 59명, Black 에 72명이 응답하였습니다. 카이제곱 테스트는 이와 같은 상황에서 원형그래프를 왜곡할 떄와 막대그래프를 왜곡할 때 인식의 차이가 통계적으로 유의하다는 것을 보여 줍니다. 카이제곱 통계량은 16.389, 자유도는 2, p-value 는 0.00028으로 눈속임 그래프의 유형에 따라 반응이 다르게 나온다는 것을 보여줍니다.

% 비교

  제대로 보여주고 있다 제대로 보여주고 있지 않다 모름/응답거절 계
Red(김영란법 국회통과) 22.0 62.0 16.0 100.0
Black(고위공직자 범죄수사처 설립) 32.9 47.4 19.7 100.0

원형그래프의 각도를 왜곡한 Red에서 여론조사 결과를 “제대로 보여주고 있다”고 응답하는 사람들의 백분율, 22.0(%)은 “제대로 보여주고 있지 않다”고 응답하는 사람들의 백분율, 62.0(%) 보다 매우 낮습니다. 반면 막대그래프의 높이를 왜곡한 Black에서 여론조사 결과를 “제대로 보여주고 있다”고 응답하는 사람들의 백분율, 32.9(%)은 “제대로 보여주고 있지 않다”고 응답하는 사람들의 백분율, 47.4(%) 보다 적습니다. 원형그래프에서 눈속임을 지각하는 백분율이 막대그래프에서 눈속임을 지각하는 백분율보다 훨씬 높게 나타나고 있습니다. 원형그래프의 각도를 속이느냐, 막대그래프의 높이를 속이느냐에 따라 반응이 달라진다는 것을 잘 알 수 있습니다.

Mosaic Plot

Mosaic Plot 은 이 집계결과를 시각적으로 잘 보여줍니다. 원형그래프의 각도를 왜곡한 Red 에서 여론조사 결과를 “제대로 보여주고 있다”고 응답한 백분율이 매우 낮고, 막대그래프이 높이를 왜곡한 Black 에서 여론조사 결과를 “제대로 보여주고 있다”고 응답한 백분율은 상대적으로 덜 낮은 것을 시각적으로 알 수 있습니다.

마감 시간으로부터 제출 시간의 분포

분포표

일 단위
  [0,1] (1,2] (2,3] (3,4] (4,5] (5,6] (6,7] (7,8] (8,9] (9,10] (10,11] (11,12] (12,13] (13,14] 계
Red 62 29 8 19 10 7 7 49 28 34 27 35 18 35 368
Black 52 22 14 13 7 5 7 55 32 29 24 33 32 40 365
계 114 51 22 32 17 12 14 104 60 63 51 68 50 75 733

분포표로부터 두 가지 문제를 살펴보겠습니다. 첫째, 날마다 고르게 제출하는가? 둘쨰, Red, Black 간에 통게적으로 유의한 차이가 있는가? 각 문제를 살펴보기 위해서는 분포표의 일부분을 대상으로 카이제곱 테스트를 수행합니다.

날마다 고르게 제출하는가?

[0,1] (1,2] (2,3] (3,4] (4,5] (5,6] (6,7] (7,8] (8,9] (9,10] (10,11] (11,12] (12,13] (13,14]
114 51 22 32 17 12 14 104 60 63 51 68 50 75
Chi-squared test for given probabilities: .
Test statistic df P value
250 13 6.291e-46 * * *

날마다 고르게 제출하는지 알아 보았습니다. 분포표의 “계”행에서 ’계’열을 제외하고 카이제곱테스트를 수행합니다. 분포표 만으로도 쉽게 파악할 수 있지만 카이제곱테스트가 명확히 해 줍니다. 카이제곱 통계량은 250.04, 자유도는 13.00, p-value 는 6.3e-46 이므로 결코 고르게 제출한다고 말할 수 없겠습니다. 막대그래프로 살펴 보겠습니다.

막대그래프

막대그래프는 총 제출인원 733(명) 중에 114(명), 16(%)가 마감일에 몰리는 것을 명확히 보여주고 있습니다.

Red, Black 간에 닮았는가?

  [0,1] (1,2] (2,3] (3,4] (4,5] (5,6] (6,7] (7,8] (8,9] (9,10] (10,11] (11,12] (12,13] (13,14]
Red 62 29 8 19 10 7 7 49 28 34 27 35 18 35
Black 52 22 14 13 7 5 7 55 32 29 24 33 32 40
Pearson’s Chi-squared test: .
Test statistic df P value
10.95 13 0.6152

제출시간의 분포가 Red, Black 간에 닮았는지 알아 보았습니다. 이번에는 분포표의 첫번쨰와 두번쨰 행, ’계’열을 제외한 나머지 열에 대해서 카이제곱테스트를 수행합니다. 카이제곱 통계량은 10.948, 자유도는 13, p-value 는 0.6152 이므로 제출 시간의 분포는 Red, Black 간에 통계적으로 유의한 차이가 관찰되지 않습니다. 이 사실을 Mosaic Plot 을 이용하여 시각적으로 살펴보겠습니다. 닮았다고 느껴지나요?

Mosaic Plot